Se-DPO: Self-Evolving Token Credit for Direct Preference Optimization
Se-DPO：自演化令牌信用用于直接偏好优化
🧭 偏好对齐 · 令牌级自适应KL正则化 ★ 深度解读
University of California, Los Angeles · Shanghai AI Laboratory
通过在线从模型自身隐式奖励与参考熵中动态学习每令牌KL预算，解决DPO均匀加权的次优问题。
📌 工作参考价值（4 点）
- 动态重要性加权思想可迁移至推荐场景：类似给用户行为序列中不同位置 token 分配不同 KL 预算，推荐系统中可对用户历史行为的不同步数或不同特征维度分配不同的正则化强度或学习权重，避免平均主义，让关键决策点有更大优化自由度。
- 在线重要性更新机制：静态重要度在训练后期会严重失配，Se-DPO 定期从模型当前状态更新信用。这启发在在线学习排序模型或生成式推荐中，可引入周期性重估每个样本/特征重要性的机制，而不是训练前一次性固定。
- 轻量校准网络的设计模式：用一个小 MLP 融合强度（\(|\hat{r}_t|\)）与不确定性（\(H_{\text{ref}}\)）两个信号，输出信用。推荐系统可类似设计一个轻量子网络，结合预估的重要度与置信度来动态调节损失权重，几乎无额外成本。
- 无需外部信号的在线信用提取：只用模型自身隐式奖励和参考熵，无需教师模型或额外标注。在缺乏外部监督的生成式推荐或 Agent 任务中，可仿照此方法利用模型内部信号进行自适应样本加权。